CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression
CAVEWOMAN：大模型在输入输出压缩下的行为研究
🧭 LLM 推理成本与语义保真度评估
Independent · Adobe Research
输入压缩反而增加成本并损害准确性，输出压缩能省钱但导致语义偏离基线
📌 工作参考价值（4 点）
- 在电商/搜索等依赖 LLM 生成文案、推荐理由等的场景中，不要通过压缩用户输入（如缩写查询词、省略语法）来节省成本，实验证明这会迫使模型输出更长回复，总成本反而上升，且准确性显著下降。
- 输出压缩（如限定模型简短回答）能有效降低 API 调用成本，尤其在使用开放权重模型时；但需注意，即使答案正确，其表面文本可能与无压缩基线产生语义偏离，因此需额外监控生成内容与原始风格的一致性。
- 实现时可将输出压缩作为成本控制手段，结合语义对齐度指标（如 entailment 检测）确保压缩后内容不违背原意，适合高频生成场景（如自动回复、消息推送）。
- 如果使用自建模型，可按 token 计费时优先压缩输出；若模型输出长度不可控，可设置最大 token 数来硬性限制，但需权衡准确性和语义偏移。